Vương sinh ra trong một gia đình nông dân tại Sơn Đông. Ông mất cha và anh cả khi còn nhỏ, và được mẹ nuôi dưỡng đến khi trưởng thành. Khi Tôn Dật Tiên thành lập trường quân sự Hoàng Phố, Vương đang là một nhân viên cửa tiệm. Ông lập tức mượn tiền từ người chủ rồi về phương Nam tham gia Cách mạng Quốc dân. Một số bạn học của ông cũng nổi danh như Đỗ Duật Minh, Phạm Hán Kiệt, Hồ Liên, Lưu Ngọc Chương, Quan Lân Chinh và Lâm Bưu. Sau khi tốt nghiệp, ông tham gia Chiến tranh Bắc phạt dưới quyền Tưởng Giới Thạch chống lại thế lực quân phiệt phương Bắc. Sau khi Tưởng đàn áp những người Cộng sản tại Thượng Hải ngày 12 tháng 4 năm 1927, ông ở lại với phe Quốc dân đảng, làm trung đoàn trưởng trong Quân đội Cách mạng Quốc dân. Năm 1930, ông tham dự Đại chiến Trung Nguyên với quân hàm Đại tá trong trung lộ quân chống lại liên minh chống chính phủ của Diêm Tích Sơn, Phùng Ngọc Tường và Lý Tông Nhân. Năm 1932, ông được Tưởng Giới Thạch biết đến sau khi cố thủ thành công vị trí của mình trước các đợt tấn công của quân Cộng sản trong Chiến dịch bao vây Khu Xô viết Giang Tây lần thứ 4. Ông được thăng chức Tư lệnh lữ đoàn rồi Tư lệnh Sư đoàn 51. 2 năm sau, ông tham gia Chiến dịch bao vây Khu Xô viết Giang Tây lần thứ 5, bắt sống lãnh tụ Cộng sản Phương Chí Mẫn và giết được một viên tư lệnh Hồng quân trong chiến trận vào khoảng tháng 9 năm 1934. Năm 1935, ông lại một lần nữa chiến thắng tại Giang Tây khi bắt được toàn bộ Bộ Tư lệnh Quân đoàn 10 Hồng quân và được thăng lên Thiếu tướng.